Грэм родился 8 мая 1894 года в Лондоне. По происхождению — еврей, чья настоящая фамилия была Гроссбаум (Grossbaum). Когда ему исполнился один год, его семья эмигрировала в США. Отец, занимавшийся производством фарфора, скончался в 1903 году, когда Бену было всего 9 лет. Чтобы обеспечить семью, мать открыла домашний пансион.
Личность и характер Грэма закалило пронизанное бедностью воспитание в Нью-Йорке, где для выживания на улице он должен был больше использовать свои умственные способности, чем мускулы.